Contents
xvii
9
Probability and Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
99
9.1
The Notion of Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
99
9.2
Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
100
9.2.1
Generalized Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
102
9.2.2
Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . . . .
103
9.2.3
Bernoulli Trials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
105
9.3
Moments of Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
107
9.3.1
Runs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
108
9.3.2
The Hypergeometric Distribution . . . . . . . . . . . . . . . . .
109
9.3.3
The Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . .
110
9.3.4
Additive and Multiplicative Processes . . . . . . . . . . . . .
110
9.4
Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
111
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
114
10
Statistics and Causation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
115
10.1
A Brief Outline of Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
115
10.2
The Calculus of Causation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
116
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
118
11
Randomness and Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
121
11.1
Random Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
124
11.2
Markov Chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
125
11.3
Random Walks
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
128
11.4
The Generation of Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
129
11.5
Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
130
11.6
Biological Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
135
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
136
12
Systems and Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
139
12.1
General Systems Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
140
12.1.1
Automata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
142
12.1.2
Cellular Automata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
144
12.1.3
Percolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
144
12.1.4
Systems Biology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
145
12.2
Networks (Graphs) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
145
12.2.1
Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
148
12.2.2
Complexity Parameters of Networks . . . . . . . . . . . . . . .
149
12.2.3
Dynamical Properties . . . . . . . . . . . . . . . . . . . . . . . . . . .
149
12.3
Synergetics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
150
12.4
Self-organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
154
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
156
13
Useful Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
157
13.1
Pattern Recognition
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
159
13.2
Botryology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
160
13.2.1
Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
160